Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models
被放大不等于有预测力：思考模型中的推理行为
🧭 推理行为分析与过程奖励
Carnegie Mellon University · Stanford University
提出 Behavioral Lift 指标，发现思考模型放大的推理行为与正确性关联弱，而置信校准等高关联行为未被充分放大
📌 工作参考价值（4 点）
- 在 Agent 或搜索推荐链路中用 LLM 做推理/决策时，不要把“显式自我修正”“承认不确定”等表面行为当作可靠性信号；这些行为被思考训练放大但与最终正确性弱相关甚至负相关。可直接用置信校准类信号（如模型对答案的自信度评分、证据对齐程度）做在线过滤、置信度阈值或路由。
- 做 generator-evaluator 或 RAG 推理抽取时，过程监督/奖励函数不要奖励“看起来深思熟虑”的语言（如“让我再想想”“我不确定”），要奖励证据引用、知识与问题陈述对齐、对答案置信度的校准；否则会激励模型输出大量无信息量的表面推理。
- 推理长度不是越长的思考越好；在成本与延迟敏感的推荐/搜索场景，可基于行为 lift 建立更细粒度的过程质量评估，识别哪些中间步骤真正贡献正确性，用于 prompt 压缩、推理步剪枝或早停。
- 如果自建 reasoning model 或微调开源 LLM 做 query/商品理解，评估时除了端到端准确率，应监控行为分布，防止训练只改变风格而非能力。